肺癌治疗中有针对性疗法的标准诊断程序涉及组织学亚型和随后检测关键驱动因素突变，例如EGFR。即使分子分析可以发现驱动器突变，但该过程通常很昂贵且耗时。深度学习的图像分析为直接从整个幻灯片图像（WSIS）直接发现驱动器突变提供了一种更经济的替代方法。在这项工作中，我们使用具有弱监督的自定义深度学习管道来鉴定苏木精和曙红染色的WSI的EGFR突变的形态相关性，此外还可以检测到肿瘤和组织学亚型。我们通过对两个肺癌数据集进行严格的实验和消融研究来证明管道的有效性-TCGA和来自印度的私人数据集。通过管道，我们在肿瘤检测下达到了曲线（AUC）的平均面积（AUC），在TCGA数据集上的腺癌和鳞状细胞癌之间的组织学亚型为0.942。对于EGFR检测，我们在TCGA数据集上的平均AUC为0.864，印度数据集的平均AUC为0.783。我们的关键学习点包括以下内容。首先，如果要在目标数据集中微调特征提取器，则使用对组织学训练的特征提取器层没有特别的优势。其次，选择具有较高细胞的斑块，大概是捕获肿瘤区域，并不总是有帮助的，因为疾病类别的迹象可能存在于肿瘤 - 肿瘤的基质中。

We study the problem of efficient generative inference for Transformer models, in one of its most challenging settings: large deep models, with tight latency targets and long sequence lengths. Better understanding of the engineering tradeoffs for inference for large Transformer-based models is important as use cases of these models are growing rapidly throughout application areas. We develop a simple analytical model for inference efficiency to select the best multi-dimensional partitioning techniques optimized for TPU v4 slices based on the application requirements. We combine these with a suite of low-level optimizations to achieve a new Pareto frontier on the latency and model FLOPS utilization (MFU) tradeoffs on 500B+ parameter models that outperforms the FasterTransformer suite of benchmarks. We further show that with appropriate partitioning, the lower memory requirements of multiquery attention (i.e. multiple query heads share single key/value head) enables scaling up to 32x larger context lengths. Finally, we achieve a low-batch-size latency of 29ms per token during generation (using int8 weight quantization) and a 76% MFU during large-batch-size processing of input tokens, while supporting a long 2048-token context length on the PaLM 540B parameter model.

稀疏性已成为压缩和加速深度神经网络（DNN）的有前途方法之一。在不同类别的稀疏性中，由于其对现代加速器的有效执行，结构化的稀疏性引起了人们的关注。特别是，n：m稀疏性很有吸引力，因为已经有一些硬件加速器架构可以利用某些形式的n：m结构化稀疏性来产生更高的计算效率。在这项工作中，我们专注于N：M的稀疏性，并广泛研究和评估N：M稀疏性的各种培训食谱，以模型准确性和计算成本（FLOPS）之间的权衡（FLOPS）。在这项研究的基础上，我们提出了两种新的基于衰减的修剪方法，即“修剪面膜衰减”和“稀疏结构衰减”。我们的评估表明，这些提出的方法始终提供最新的（SOTA）模型精度，可与非结构化的稀疏性相当，在基于变压器的模型上用于翻译任务。使用新培训配方的稀疏模型准确性的提高是以总训练计算（FLOP）边际增加的成本。

大型语言模型已被证明可以使用少量学习来实现各种自然语言任务的出色表现，这大大减少了将模型调整到特定应用程序所需的特定任务培训示例的数量。为了进一步了解量表对少量学习的影响，我们培训了一个5400亿个参数，密集激活的变压器语言模型，我们称之为“途径”语言模型棕榈。我们使用Pathways在6144 TPU V4芯片上训练了Palm，这是一种新的ML系统，可在多个TPU POD上进行高效的训练。我们通过在数百种语言理解和产生基准的基准方面实现最先进的学习结果来证明扩展的持续好处。在这些任务中，Palm 540B实现了突破性的表现，在一系列多步推理任务上表现出色，超过了最新的最新表现，并且在最近发布的Big Benchmark上表现优于平均人类表现。大量的大型基础任务显示出与模型量表的不连续改进，这意味着当我们扩展到最大模型时，性能急剧增加。 Palm在多语言任务和源代码生成方面也具有很强的功能，我们在各种基准测试中证明了这一点。我们还提供了有关偏见和毒性的全面分析，并研究了训练数据记忆的程度，相对于模型量表。最后，我们讨论与大语言模型有关的道德考虑，并讨论潜在的缓解策略。

减少潜伏期和模型大小一直是实时自动语音识别（ASR）应用程序方案的重要研究问题。沿着这个方向，模型量化已成为压缩神经网络并降低计算成本的越来越流行的方法。大多数现有的实用ASR系统都采用训练后8位量化。为了在不引入额外的性能回归的情况下达到更高的压缩率，在这项研究中，我们建议开发具有本机量化培训的4位ASR模型，该模型利用天然整数操作有效地优化培训和推理。我们对基于最新构象体的ASR模型进行了两个实验，以评估我们提出的量化技术。首先，我们探讨了不同精度对重量和激活量化对LibrisPeech数据集的影响，并获得了与Float32模型相比，获得了7.7倍尺寸的无损4位构象异构体模型。此后，我们首次研究并揭示了在使用大型数据集训练的实用ASR系统上的4位量化的可行性，并产生了具有4位混合重量和8位权重的无损构象体ASR模型与FLOAT32模型相比，尺寸减小了5倍。

贝叶斯网络中的精确推断非常棘手，并且对相应集团树（CT）中最大集团的大小具有指数依赖性，因此需要近似。基于因子的结合物大小的方法比基于结构的方法更准确，但是昂贵，因为它们涉及大量候选结构或区域图中的信念的推断。我们提出了一种基于增量的建筑 - 上方（ibia）范式的近似推断的替代方法，该方法将贝叶斯网络转换为包含一系列链接的集团森林（SLCTF）的数据结构，并由用户包围的集团尺寸 - 指定值。在此方法的增量构建阶段中，只要集团大小在指定的界限内，CTF是通过向CTF添加变量来逐步构建的。一旦达到集团尺寸约束，CTF中的CTS就会在IBIA的推断阶段进行校准。所得的集团信念在近似阶段使用，以获得较小的集团大小的近似CTF。近似CTF构成了序列中下一个CTF的起点。重复这些步骤，直到将所有变量添加到序列中的CTF中。我们证明，我们用于汇总树的增量结构的算法始终会产生有效的CT，并且我们的近似技术保留了一个集团内变量的共同信念。基于此，我们表明SLCTF数据结构可用于有效的分区功能以及先验和后边缘的近似推断。使用了500多个基准测试该方法，与其他近似方法相比，结果显示出具有竞争力的运行时的误差显着降低。

读取文本读取序列的确定是对记录理解的基础。在文本组织成一系列行和垂直对准的页面中，可以轻松解决此问题，并运行页面的高度（生成可以从左到右读取的多列）。我们展示了一种情况 - 目录页面解析问题 - 以不规则，视觉组织的二维格式在页面上呈现信息。目录页面在金融招股说明书中相当常见，并携带有关组织，其地址和关系的信息，这是客户在车内客户端的关键。有趣的是，目录页有时有分层结构，激励需要将读取序列概括为读取树。我们向识别目录页面和构建读取树的问题提供解决方案，使用（学习）文本段和自下而上的（向左，左上，顶部顶部）遍历的段的横向。该解决方案是支持从客户端船上文件自动提取组织，地址和关系信息的生产服务的关键部分。

多士道对象的感知，推理和互动近年来是一个关键的研究主题。然而，这些方向上的进展受到可用的一小一组物体的限制 - 合成对象不够现实，并且大致围绕几何，而诸如YCB之类的真实对象数据集通常实质上是挑战和不稳定，以获得由于国际运输而无法获得。 ，库存和财务成本。我们呈现ObjectFolder，一个数据集100个虚拟化对象，用于解决两个关键创新的挑战。首先，ObjectFolder为所有对象进行编码视觉，听觉和触觉感官数据，从而实现许多多声道对象识别任务，超出纯粹对象几何体的现有数据集之外。其次，ObjectFolder为每个对象的视觉纹理，声学模拟和触觉读数采用均匀，对象，和隐式表示，使数据集能够使用和易于共享。我们通过在各种基准任务中评估它，包括在各种基准任务中进行多义感知和控制的测试平台，包括实例识别，交叉感知检索，3D重建和机器人抓握，证明了我们的数据集作为多思想感知和控制的实用性。

在多方对话中有效地发现发言者的情绪状态是设计人类类似的会话代理商的重要性。在谈话期间，扬声器的认知状态通常由于某些过去的话语而改变，这可能导致他们的情绪状态的翻转。因此，在对话期间发现扬声器情感翻转背后的原因（触发）对于解释个人话语的情感标签至关重要。在本文中，除了解决对话中的情感认可的任务（ERC），我们介绍了一种新的任务 - 情感 - 翻转推理（EFR），旨在识别过去的话语，这引发了一个人的情绪状态以在一定时间翻转。我们提出了一个掩蔽的存储器网络来解决前者和基于变换器的网络的后一种任务。为此，我们考虑融合的基准情感识别数据集，用于ERC任务的多方对话，并使用EFR的新地基标签增强它。与五个最先进的模型进行了广泛的比较，表明我们对两个任务的模型的表现。我们进一步提出了轶事证据和定性和定量误差分析，以支持与基线相比模型的优势。